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Abstract of DE1 98031 58 

The arrangement has an image acquisition 
system (1,2) covering a region including the 
person's eyes (3a) and an image evaluation 
system for evaluating the acquired images with a 
lid closure detection arrangement, a pupil dia. 
Detector and an evaluation device which 
determines the state of vigilance depending on lid 
closure detector and pupil dia. Detector 
information. The arrangement classifies state of 
vigilance in at least three vigilance classes 
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@ Vorrichtung zur Vigilanzzustandsbestimmung 

@ Die Erfindung bezieht sich auf eine Vorrichtung zur Vi- 
gilanzzustandsbestimmung einer Person, insbesondere 
einer Fahrzeug- oder Maschinenbedienperson, mit einem 
Bildaufnahmesystem zum Aufnehmen von Bildern des 
Bereichs wenigstens eines Auges der Person und einem 
Bildauswertesystem, das die vom Bildaufnahmesystem 
aufgenommenen Bilder auswertet und LidschluRerken- 
nungsmittel beinhaltet. 

Erfindungsgemafc weist das Bildauswertesystem Mittel 
zur Pupillendurchmesserbestimmung und eine Aus- 
werteeinrichtung auf, die den Vigilanzzustand in Abhan- 
gigkeit von der durch die LidschlufSerkennungsmittel er- 
haltenen LidschluGzustandsinformation und von der 
durch die Pupillendurchmesserbestimmungsmittel erhal- 
tenen Pupillendurchmesserzustandsinformation unter 
Einklassifizieren in jeweils eine von mindestens drei Stu- 
fen bestimmt. 

Verwendung z. B. zur Bestimmung des Vigilanzzustands 
« von Kraftfahrzeugfuhrern. 
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Beschreibung 



Die Erfindung bezieht sich auf eine Vorrichtung zur Vigi- 
lanzzustandsbeslimmung bei einer Person, insbesondere ei- 
ner Fahrzeug- oder Maschinenbedienperson, nach dem 
OberbegrifF des Anspruchs 1. Derartige Vorrichtungen die- 
nen beispielsweise dazu, den Vigilanzzustand eines Fahr- 
zeugfuhrers kontinuierlich zu iiberwachen und ihn dadurch 
wahrend des Fahrens rechtzeitig vor dem Einschlafen zu 
waraen. Dazu werden vom Bildaufnahmesystem Bilder des 
Berelchs wenigstens eines Auges aufgenommen und von ei- 
nem nachgeschalteten Bildauswertesystem analysiert. 

Bei Vorrichtungen dieser Art, wie sie auch aus den Offen- 
legungsschriften DE 196 21 435 Al und DE 197 15 519 Al 
sowie den Patentschriften US 4.359.724, US 5.402.109 und 
US 5.566.067 bekannt sind, beinhaltet das Bildauswertesy- 
stem Mittel zur LidschluBerkennung, mit denen ein zuneh- 
mendes zeitweises SchlieBen der Augen festgestellt werden 
kann, was als zunehmende Miidigkeit interpretiert wird. 
Beim System der DE 196 21 435 Al kann zudem die Fahig- 
keit vorgesehen sein, die Pupillenbewegung, speziell die 
Geschwindigkeit der Pupille, zu messen und dies als weite- 
ren Parameter fiir die Entscheidung heranzuziehen, ob die 
iiberwachte Person wach oder schlafrig ist. Beim System der 
DE197 15 519A1, mit dem der Schlafrigkeitsgrad eines 
Fahrzeugfuhrers geschatzt werden soli, wird in einer ersten 
Zeitspanne nach dem Starten des Fahrzeugs eine Haufig- 
keitsverteilung der Blinzeldauer des Fahrers erstellt und dar- 
aus ein Schwellenwert abgeleitet, der dann in einer anschlie- 
Benden zweiten Zeitspanne zur Beurteilung des Schlafrig- 
keitsgrades herangezogen wird. Diese Vorgehensweise soli 
den Unterschieden in der Blinzeldauer und Blinzelhaufig- 
keit zwischen verschiedenen Personen Rechnung tragen, 
wobei vorausgesetzt wird, daB der Fahrer in der Anfangs- 
phase nach dem Starten des Fahrzeugs einen niedrigen 
Schlafrigkeitsgrad besitzt. 

Aus der medizinischen Pupillographie sind Bildauf- 
nahme- und Bildauswertesysteme mit Mitteln zur Bestim- 
mung des Pupillendurchmessers und/oder der Augenbewe- 
gung, d. h. der Pupillenbewegung bekannt, um damit wah- 
rend Augenuntersuchungen den Pupillendurchmesser bzw. 
die Bewegungen des untersuchten Auges zu erfassen. Sy- 
steme dieser Art sind in den Offenlegungsschriften 
DE 35 41 726 Al, DE 44 19 489 Al und DE 41 40 160 Al 
sowie den Patentschriften US 3.966.310, US 4.755.043, 
US 4.850.691, US 5.187.506 und US 5.204.703 beschrie- 
ben. 

Es ist aus der Literatur des weiteren bekannt, daB am Ver- 
halten des Pupillendurchmessers eine Ubermiidung festge- 
stellt werden kann. Speziell zeigen Untersuchungen, daB mit 
zunehmender Miidigkeit die Pupillen sich zunachst veren- 
gen, selbst wenn die Umgebungshelligkeit nicht besonders 
hoch ist, und anschlieBend Schwingungen des Pupillen- 
durchmessers auftreten, was den Einsatz der Pupillographie 
zur Identifizierung einschlafgefahrdeter Personen, z. B. im 
StraBen-, See- und Luftverkehr, moglich erscheinen laBt, 
siehe B. Wilhelm, H. Wilhelm, "Die Pupille als Schlaf- 
Wach-Indikator", Z. prakt. Augenheilkd. 15, 1994, Seite 185 
und I. E. Loewenfeld, "The Pupil", Band I, Wayne State 
University Press, Detroit, 1993. 

Der Erfindung liegt als technisches Problem die Bereit- 
stellung einer Vorrichtung zur Vigilanzzustandsbestimmung 
der eingangs genannten Art zugrunde, mit welcher der 
Wachheits- bzw. Vigilanzzustand einer Person, insbeson- 
dere eines Fahrzeugfuhrers oder Maschinenbedieners, be- 
sonders zuverlassig bestimmt werden kann, um daraus ge- 
eignete Folgerungen zu Ziehen, z. B. Abgabe einer rechtzei- 
tigen Warnmeldung oder Verbringung eines von der Person 



zu steucrnden bzw. bedienenden Systems in einen sicher- 
heitsunkritischen Zustand. 

Die Erfindung lost dieses Problem durch die Bereitstel- 
lung einer Vigilanzzustandsbestimmungsvorrichtung mit 

5 den Merkmalen des Anspruchs 1. Bei dieser Vorrichtung 
weist deren Bildauswertesystem neben LidschluBerken- 
nungsmitteln Mittel zur Pupillendurchmesserbestimmung 
sowie eine Auswerteeinrichtung auf, die den Vigilanzzu- 
stand in Abhangigkeit von der durch die LidschluBerken- 

10 nungsmittel erhaltenen LidschluBzustandsinformation und 
von der durch die PupiUendurchmesserbestimmungsmittel 
erhaltenen Pupillendurchmesserzustandsinformation be- 
stimmt, wobei der Vigilanzzustand charakteristischerweise 
jeweils in eine von mindestens drei Stufen einklassifiziert 

15 wird. Durch das Vorhandensein sowohl der LidschluBerken- 
nungsmittel als auch der Pupillendurchmesserbestimmungs- 
mittel wird eine gewisse Redundanz sowie eine hohe Zuver- 
lassigkeit der Vigilanzzustandsbestimmung erzielt. Das Ein- 
klassifizieren des Vigilanzzustands in drei oder mehr Stufen 

20 unterschiedlicher Vigilanz schafft die Moglichkeit, abge- 
stuft auf eine beginnende Ubermiidigung der uberwachten 
Person reagieren zu konnen. 

Bei einer nach Anspruch 2 weitergebildeten Vorrichtung 
enthalt das Bildauswertesystem Mittel zur BesUmmung der 

25 Umgebungshelligkeit, und die Auswerteeinrichtung besitzt 
eine Korrelationseinheit, mit welcher festgestellt werden 
kann, in welchem Grad der Pupillendurchmesser mit der 
Umgebungshelligkeit korreliert ist. Auf diese Weise konnen 
Anderungen des Pupillendurchmessers, die auf Schwankun- 

30 gen der Umgebungshelligkeit beruhen, von vigiianzbeding- 
ten Pupillendurchmesserschwankungen sicher unterschie- 
den werden. 

Eine nach Anspruch 3 weitergebildete Vorrichtung ist so 
ausgelegt, daB sie bei der mehrstufigen Vigilanzzustandsbe- 

35 stimmung auf die hochste Vigilanzstufe, d. h. auf einen 
Wachzustand, schlieBt, wenn dies sowohl durch kurze Lid- 
schluBdauem und vergleichsweise hohe LidschluBfrequen- 
zen als auch durch Ausbleiben von nicht mit dem Umge- 
bungslicht korrelierten Pupillendurchmesserschwankungen 

40 indiziert ist. Hingegen wird das Vorliegen des niedrigsten 
Vigilanzzustands, d. h. des hochsten Miidigkeitsgrades, an- 
genommen, wenn die beobachteten LidschluBdauern iiber- 
maBig hoch sind. 
Eine nach Anspruch 4 weitergebildete Vorrichtung er- 

45 moglicht eine mindestens vierstufige Vigilanzzustandsbe- 
stimmung, wobei neben den Stufen hochster und geringster 
Vigilanz eine crste Zwischenstufe hoherer und eine zweite 
Zwischenstufe niedrigerer Vigilanz dadurch definiert sind, 
daB gemessene Pupillendurchmesserschwingungen im ei- 

50 nen Fall unterhalb und im anderen Fall oberhalb eines ent- 
sprechenden Schwellwertes liegen und auBerdem wenig- 
stens eine der Bedingungen erfullt ist, daB die Pupillen- 
durchmesserschwankungen nicht gut mit Umgebungslicht- 
schwankungen korrelieren oder die LidschluBdauer in ei- 

55 nem mittleren Bereich liegt oder die LidschluBfrequenz un- 
terhalb eines entsprechenden Schwellwertes liegt. Dies rea- 
lisiert eine sehr feinfiihlig abgestufte Miidigkeitserkennung. 

Eine nach Anspruch 5 weitergebildete Vorrichtung bein- 
haltet eine vom Bildauswertesystem angesteuerte Wamein- 

60 heit, die in Abhangigkeit vom Vigilanzzustand entspre- 
chende Warnsignale lokal, insbesondere fiir die iiberwachte 
Person, oder auch als fernubertragenes Signal an eine von 
der uberwachten Person raumlich entfernte Stelle, z. B. im 
Fall eines Fahrzeuges an eine Zentrale oder andere Fahr- 

65 zeuge, abgibt. 

Bei einer nach Anspruch 6 weitergebildeten Vorrichtung 
ist eine Warneinheit vorgesehen, die eine Fahrzeug- bzw. 
Maschinensteuerungseinrichtung in Abhangigkeit vom er- 
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faBten Vigilanzzustand derart ansteuert, daB bei Erkennen 
einer entsprechend niedrigen Vigilanz der uberwachten Per- 
son das von dieser gesteuerte Fahrzeug bzw. die von dieser 
gesteuene Maschine von der Steuerungseinrichtung in einen 
sicheren Betriebszustand gebracht wird. Dies beugt z. B. bei 5 
Fahrzeugen Unfallgefahren aufgrund einer Ubermudung 
des Fahrers aktiv dadurch vor, daB das Fahrzeug von einem 
durch die Warneinheit angesprochenen, autonomen Fahr- 
zeugfuhrungssystem auf sichere Weise verlangsamt oder 
ganz zura Halten gebracht wird. 10 

Bei einer nach Anspruch 7 weitergebildeten Vorrichtung 
ist eine Bedieneinheit vorgesehen, die auf die Erkennung ei- 
ner entsprechend niedrigen Vigilanz hin von einer Warnein- 
heit dazu veranlaBt wird, der uberwachten Person eine Vigi- 
lanztestaufgabe zu stellen, von deren ordnungsgemaBer Er- 15 
ledigung dann weitere Systemaktionen abhangig gemacht 
werden konnen. 

Eine vorteilhafte Ausfuhrungsform der Erfindung ist in 
den Zeichnungen dargestellt und wird nachfolgend be- 
schrieben. Hierbei zeigen: 20 

Fig. 1 eine schematische Seitenansicht eines einer uber- 
wachten Person zugeordneten Bildaufnahmesystems einer 
Vigilanzzustandsbestimmungsvorrichtung, 

Fig. 2 eine schematische Darstellung des Bildrahmens 
des Bildaufnahmesystems von Fig. 1 und 25 

Fig. 3 eine Blockdiagrammdarstellung der zum Bildauf- 
nahmesystem gemaB Fig. 1 gehorigen Vigilanzzustandsbe- 
stimmungsvorrichtung. 

Wie in den Fig. 1 und 2 dargestellt, weist die gezeigte Vi- 
gilanzzustandsbestimmungsvorrichtung ein optisches Bild- 30 
aufnahmesystem in Form einer Kamera 1 und einer Infrarot- 
Beleuchtungseinrichtung 2 auf. Die Beleuchtungseinrich- 
tung 2 umgibt mbglichst dicht die optische Achse der Ka- 
mera 1 und dient dazu, den Netzhauthintergrund eines uber- 
wachten Auges 3a einer Fahrzeug- oder Maschinenbedien- 35 
person 3 moglichst hell und unabhangig von umgebendem 
Fremdlicht im Bild des Auges 3a hervortreten zu lassen. Der 
Fokus von Kamera 1 und Beleuchtungseinrichtung 2 ist so 
gewahlt, daB das beobachtete Auge 3a, im gezeigten Bei- 
spiel das rechte Auge, auch bei Beriicksichtigung einer ge- 40 
wissen notwendigen Bewegungsfreiheit des Kopfes der Per- 
son 3 in der xy-Ebene eines angedeuteten xyz-Koordinaten- 
systems stets im Kamerablickfeld 4 erscheint und ein Beob- 
achtungsfenster 5 des Bildaufnahmesystems auf ein licht- 
empfindliches CCD- Array der als CCD- Videokamera 1 aus- 45 
gelegten Kamera fallt. Des weiteren sind Blende und Fokus 
der Kamera 1 so gewahlt, daB auch bei einer gewissen not- 
wendigen Bewegungsfreiheit des Kopfes der Person 3 in z- 
Richtung das Auge 3a stets scharf auf das lichtempfindliche 
CCD-Array abgebildet wird. Auf diese Weise ist das Bild- 50 
aufnahmesystem in der Lage, bei Tag und Nacht, d. h. unab- 
hangig vom Umgebungslicht, das Auge 3a der Fahrzeug- 
oder Maschinenbedienperson 3 beruhrungsfrei und ab- 
standsunabhangig zu uberwachen. 

Fig. 3 zeigt die gesamte Vigilanzzustandsbestimmungs- 
vorrichtung in Blockdiagrammform. Wie daraus ersichtlich, 
ist bei dieser Vorrichtung dem Bildaufnahmesystem 1, 2 ein 
Bildauswertesystem nachgeschaltet, das eingangsseitig eine 
Bildverarbeitungseinheit 6 aufweist, der die von der Kamera 
1 aufgenommenen Bilder ubermiltelt werden und die daraus 
nach einem bekannten Bildverarbeitungsverfahren das iiber- 
wachte Auge erkennt und eine Nachfiihrung des Beobach- 
tungsfensters 5 bewerkstelligt. Die Bildverarbeitungseinheit 
6 arbeitet mil zwei Betriebszustanden, zwischen denen stan- 
dig hin und her geschaltet wird. In einem ersten Betriebszu- 
stand wird bei ausgeschalteter Infrarotbeleuchtung 2 die 
durch das Umgebungslicht, d. h. Fremdlicht, hervorgeru- 
fene mittlere Helligkeit im Beobachtungsfenster 5 gemessen 
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und diese Information als ein Helligkeitssignal 8 abgegeben, 
ohne daB in diesem Betriebszustand eine weitere Bildaus- 
wertung erfolgt. In einem zweiten Betriebszustand ist die In- 
frarotbeleuchtung 2 eingeschaltet, und die Bildverarbei- 
tungseinheit 6 wertet das vom uberwachten Auge erhaltene 
Bild nach folgenden Kriterien aus. 

Zum einen erfaBt sie durch entsprechende herkommliche 
PupiUendurchmesserbestimmungsmittel, wie sie z. B. aus 
der oben erwahnten DE 44 19 489 Al bekannt sind, den Pu- 
pillendurchmesser des beobachteten Auges. Wie oben er- 
wahnt, verringert sich der Pupillendurchmesser mit zuneh- 
mender Mudigkeit, und unmittelbar vor dem Einschlafen 
treten Schwingungen des Pupillendurchmessers im Bereich 
von 0,1 Hz bis 1 Hz auf. Die Information uber den momen- 
tanen Pupillendurchmesser gibt die Bildauswerteeinheit6 in 
Form eines Pupillendurchmessersignals 9 ab. Zum anderen 
besitzt die Bildverarbeitungseinheit 6 herkommliche Lid- 
schluBerkennungsmittel, mit denen die LidschluBdauer und 
die LidschluBfrequenz fur das kontinuierlich iiberwachte 
Auge ermittelt werden. Die Bildverarbeitungseinheit 6 gibt 
ein entsprechendes LidschluBsignal 10 ab, das einerseits 
eine Information iiber die Zeitabschnitte, in denen das Auge 
geschlossen ist und somit kein Pupillendurchmesser be- 
stimmt werden kann, und andererseits uber die Zeitdauer 
und die Frequenz des Lidschlusses enthalt, die bekannter- 
maBen ebenfalls ein MaB fur die Mudigkeit der uberwachten 
Person 3 sind. 

Des weiteren weist das Bildauswertesystem eine der Bild- 
verarbeitungseinheit 6 nachgeschaltete Auswerteeinrich- 
tung auf, die aus einer Korrelationseinheit 7 und einer nach- 
geschalteten Klassifikationseinheit 11 besteht. Die Korrela- 
tionseinheit 7 korreliert den zeitlichen Verlauf des kontinu- 
ierlich gemessenen Pupillendurchmessers, wie er sich aus 
dem ihr zugefiihrten Pupillendurchmessersignal 9 ergibt, 
mit der uber das zugefuhrte Umgebungshelligkeitssignal 8 
erhaltenen Information uber die Umgebungshelligkeit, wo- 
durch sie in der Lage ist, die normale Pupillenreaktion auf 
Schwankungen der Umgebungshelligkeit als StoreinfluB zu 
eliminieren, Die Korrelationseinheit 7 gibt ein entsprechen- 
des Korrelationssignal 12 ab, das die Information daruber 
enthalt, inwieweit Anderungen des Pupillendurchmessers 
von einer sich andemden Umgebungshelligkeit verursacht 
sind oder nicht. AuBerdem erzeugt die Korrelationseinheit 7 
durch eine Filterung des Pupillendurchmessersignals 9 im 
Bereich von 0,1 Hz bis 1 Hz ein Pupillendurchmesser- 
schwingungssignal 13, das eine Information daruber enthalt, 
ob im genannten Frequenzbereich Schwingungen des Pupil- 
lendurchmessers unabhangig vom Umgebungslicht auftre- 
ten oder nicht. Der Korrelations- und FilterungsprozeB in 
der Korrelationseinheit 7 wird vom zugefuhrten LidschluB- 
signal 10 gesteuert, d. h. unterbrochen, wenn das Auge ge- 
schlossen ist, und fortgefuhrt, wenn das Auge offen ist. 

Die Klassifikationseinheit 11 fuhrt anhand des LidschluB- 
signals 10, des Korrelationssignals 12 und des Pupillen- 
durchmesserschwingungssignals 13, die ihm als Eingangssi- 
gnale zugefuhrt werden, eine Klassifikation durch, die den 
Vigilanzzustand der Fahrzeug- oder Maschinenbedienper- 
son 3 in vier verschiedene Stufen einteilt und fur jede Stufe 
ein charakteristisches Ausgangssignal 15, 16, 17, 18 abgibt. 

Ein erstes Ausgangssignal 15 der Klassifikationseinheit 
11 ist einer ersten Stufe hochster Vigilanz zugeordnet, die 
den Normalzustand, d. h. den "Wach"-Zustand der Person 3 
darstellt. Auf diese Vigilanzstufe schlieBt die Klassifikati- 
onseinheit 11 dann, wenn die folgenden vier Bedingungen 
erfullt sind. Die erste Bedingung ist, daB das Pupillendurch- 
messerschwingungssignal 13 unterhalb eines vorgebbaren 
Pupillendurchmesserschwingungs-Schwellwertes hegt, 
d. h. daB keine merklichen Schwingungen des Pupillen- 
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durchmessers beobachtet werden, die nicht durch das Um- 
gebungslicht verursacht sind. Die zweite Bedingung ist, daB 
das Korrelationssignal 12 eine gute Korrelation des Pupii- 
lendurchmessers mit dem Umgebungslicht anzeigt. Die 
dritte Bedingung ist, daB die aus dem LidschluBsignal 10 er- 5 
kannte LidschluBdauer unterhalb eines ersten vorgebbaren 
LidschluBdauer-Schwellwertes liegt, der fUr den Wachzu- 
stand eines Menschen kennzeichnend ist, und die vierte Be- 
dingung ist, daB die ebenfalls aus dem LidschluBsignal 10 
erhaltene LidschluBfrequenz oberhalb eines voigebbaren 10 
LidschluBfrequenz-Schwellwertes liegt, der ebenfalls kenn- 
zeichnend fur den Wachzustand eines Menschen ist. 

Ein zweites Ausgangssignal 16 der Klassifikationseinheit 
11 reprasentiert einen "Mude" -Zustand als einer Stufe 
zweithochster Vigilanz. Auf diese Vigilanzstufe schlieBt die 15 
Klassifikationseinheit 11, wenn das Pupillendurchmesser- 
schwingungssignal 13 unterhalb des Pupillendurchmesser- 
schwingungs-Schwellwertes liegt und zusatzlich wenigstens 
eine der folgenden drei Bedingungen erfullt ist, daB namlich 
das Korrelationssignal 12 eine schlechte Korrelation des Pu- 20 
pillendurchmessers mit dem Umgebungslicht anzeigt oder, 
daB die LidschluBdauer oberhalb des ersten LidschluBdauer- 
Schwellwertes und unterhalb eines zweiten vorgebbaren 
LidschluBdauer-Schwellwertes liegt, der anzeigt, daB das 
Auge ungewohnlich lange geschlossen bleibt, oder daB die 25 
LidschluBfrequenz unterhalb des LidschluBfrequenz- 
Schwellwertes liegt. 

Ein drittes Ausgangssignal 17 der Korrelationseinheit 11 
charakterisiert eine Stufe zweitniedrigster Vigilanz, die ei- 
nen "Einschlafgefahrdef-Zustand bedeutet. Auf diesen Zu- 30 
stand erkennt die Klassifikationseinheit 11 dann, wenn das 
Pupitlcndurchmesscrschwingungssignal 13 oberhalb des 
Pupillendurchmesserschwingungs-Schwellwertes liegt und 
wenigstens eine der drei folgenden Bedingungen erfullt ist, 
daB namlich das Korrelationssignal eine schlechte Korrela- 35 
tion des Pupillendurchmessers mit dem Umgebungslicht an- 
zeigt oder daB die LidschluBdauer oberhalb des ersten Lid- 
schluBdauer-Schwellwertes und unterhalb des zweiten Lid- 
schluBdauer-Schwellwertes liegt oder daB die LidschluBfre- 
quenz unterhalb des LidschluBfrequenz-Schwellwertes 40 
liegt. 

Ein viertes Ausgangssignal 18 der Klassifikationseinheit 
11 entspricht der Stufe niedrigster Vigilanz, die einem "Au- 
gen-zu"-Zustand entspricht. Auf diesen Zustand erkennt die 
Klassifikationseinheit 11 dann, wenn die LidschluBdauer 45 
oberhalb des zweiten LidschluBdauer-Schwellwertes liegt. 

Dem Bildauswertesy stem ist eine Warneinheit 14 nachge- 
schaltet, der die vier Ausgangssignale 15 bis 18 der Klassi- 
fikationseinheit 11 zugefuhrt werden und die dadurch die In- 
formation uber den momentanen Vigilanzzustand erhalt. 50 
Die Warneinheit 14 fuhrt nun in Abhangigkeit von der je- 
weils vorliegenden Vigilanzstufe bestimmte Aktionen 
durch, um die Fahrzeug- oder Maschinenbedienperson 3 
wieder in einen Zustand hoherer Vigilanz zu bringen oder 
sie bzw. AuBenstehende rechtzeitig zu warnen oder das 55 
Fahrzeug bzw. die Maschine in einen sicheren, ungefahrli- 
chen Betriebszustand zu uberfuhren. 

So ist eine optische Anzeige 19 vorgesehen, uber welche 
die Warneinheit 14 der iiberwachten Person 3 den Grad ihrer 
Miidigkeit bzw. Vigilanz anzuzeigen vermag. AuBerdem ist 60 
ein akustischer Alarmgeber 20 vorgesehen, iiber den die 
Warneinheit 14 die Person 3 bei auftretender Miidigkeit 
warnen kann. Des weiteren ist eine Bedieneinheit 21 vorge- 
sehen, die von der Warneinheit 14 dazu angesteuert werden 
kann, der Person 3 eine Nebenaufgabe zwecks Vigilanztest 65 
abzuverlangen, uber deren Erledigung die Bedieneinheit 21 
der Warneinheit 14 eine Ruckrneldung gibt, wonach die 
Warneinheit 14 weitere Aktionen in Abhangigkeit von der 
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Erledigung dieser Nebenaufgabe abhangig macht. Zusatz- 
lich ist eine Sendeeinrichtung 22 vorgesehen, iiber welche 
die Warneinheit 14 den festgestellten Vigilanzzustand an 
eine Zentrale oder z. B. an andere Fahrzeuge zur Warnung 
mitteilen kann. Eine Speichereinrichtung 24 kann von der 
Warneinheit 14 dazu verwendet werden, den festgestellten 
Vigilanzzustand der Person 3 fur eine bestimmte zuriicklie- 
gende Zeitdauer dauerhaft und auslesbar aufzuzeichnen. Zu- 
satzlich ist vorgesehen, daB die Warneinheit 14 eine automa- 
tische Fahrzeug- bzw. Maschinensteuerung 23 so anzusteu- 
ern vermag, daB diese bei Bedarf das Fahrzeug bzw. die Ma- 
schine selbsttatig in einen sicheren, ungefahrlichen Be- 
triebszustand uberfuhrt. Dies wird von der Warneinheit 14 
inbesondere dann veranlaBt, wenn ihr der ,, Augen-zu"-Zu- 
stand niedrigster Vigilanz von der Klassifikationseinheit 11 
iibermittelt wird oder wenn die an der Bedieneinrichtung 21 
gestellte Nebenaufgabe von der iiberwachten Person 3 unzu- 
reichend oder gar nicht gelbst wurde. 

Die obige Beschreibung eines vorteilhaften Ausfuhrungs- 
beispiels zeigt, daB die erfindungsgemaBe Vorrichtung eine 
zuverlassige Vigilanzzustandsbestimmung durch kombi- 
nierte Auswertung einer LidschluBinformation und einer In- 
formation uber auftretende Pupillendurchmesserschwingun- 
gen ermoglicht. Es versteht sich, daB die erfindungsgemaBe 
Vorrichtung nicht auf dieses Beispiel beschrankt ist, sondem 
weitere Realisierungen umfaBt. So kann neben dem be- 
schriebenen, mit Infrarotstrahlung arbeitenden Bildaufhah- 
mesystem ein System eingesetzt werden, das mit einer ande- 
ren Strahlung arbeitet, wobei diese zweckmaBigerweise au- 
Berhalb des sichtbaren Spektrums gewahlt wird. Des weite- 
ren kbnnen je nach Anwendungsfall eine oder mehrere der 
von der gezeigten Warneinheit 14 angesteuerten Kompo- 
nenten 19 bis 24 und ggf. auch die Warneinheit 14 entfallen. 
Die Vigilanzzustandsbestimmung kann anwendungsfallab- 
hangig unter Benutzung modifzierter Bedingungen auch nur 
dreistufig oder in mehr als vier Stufen erfolgen. 

Patentanspriiche 

1. Vorrichtung zur Vigilanzzustandsbestimmung bei 
einer Person, insbesondere einer Fahrzeug- oder Ma- 
schinenbedienperson, mit 

- einem Bildaufnahmesystem (1, 2) zum Aufneh- 
men von Bildern des Bereiches (5) wenigstens ei- 
nes Auges (3a) der Person (3) und 

- einem Bildauswertesystem (6, 7, 11), das zum 
Auswerten der vom Bildaufnahmesystem aufge- 
nommenen Bilder dient und LidschluBerken- 
nungsmittel beinhaltet, 

dadurch gekennzeichnet, daB 

- das Bildauswertesystem (6, 7, 11) Pupilien- 
durchmesserbestimmungsmittel und eine Aus- 
werteeinrichtung aufweist, die den Vigilanzzu- 
stand in Abhangigkeit von der durch die Lid- 
schluBerkennungsmittel erhaltenen LidschluBzu- 
standsinformation und von der durch die Pupillen- 
durchmesserbestimmungsmittel erhaltenen Pupil- 
lendurchmesserzustandsinformation unter Ein- 
klassifizieren in jeweils eine von mindestens drei 
Vigilanzstufen bestimmt. 

2. Vorrichtung nach Anspruch 1, weiter dadurch ge- 
kennzeichnet, daB 

- das Bildauswertesystem (6, 7, 11) Mittel zur 
Bestimmung der Umgebungshelligkeit umfaBt 
und 

- die Auswerteeinrichtung eine Korrelationsein- 
heit (7) aufweist, welche den Korrelationsgrad der 
Pupillendurchmesserzustandsinformation mit der 
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durch die Umgebungshelhgkeitsbestinimungsmit- 
tel erhaltenen Umgebungshelligkeitsinformation 
bestimmt, und den Vigilanzzustand zusatzlich in 
Abhangigkeit von der durch die Korrelationsein- 
heit erhaltenen Korrelationsgradinformation be- 5 
stimmt. 

3. Vorrichtung nach Anspruch 2, weiter dadurch ge- 
kennzeichnet, daB 

- die LidschluBzustandsinformation eine Lid- 
schluBdauerinformalion und eine LidschluBfre- 10 
quenzinformation umfaBt und 

- von der Auswerteeinrichtung die hochste Vigi- 
lanzstufe angegeben wird, wenn die LidschluB- 
dauer unterhalb eines vorgebbaren ersten Lid- 
schiuBdauer-Schwellwertes liegt, die LidschluB- 15 
frequenz oberhalb eines vorgebbaren LidschluB- 
frequenz-Schwellwertes liegt und der Grad an 
nicht von der Umgebungshelligkeit verursachten 
Pupillendurchmesserschwingungen unterhalb ei- 
nes vorgebbaren Pupillendurchmesserschwin- 20 
gungs-Schwellwertes liegt, und die niedrigste Vi- 
gilanzstufe angegeben wird, wenn die LidschluB- 
dauer oberhalb eines vorgebbaren zweiten Lid- 
schluBdauer-Schwellwertes liegt. 

4. Vorrichtung nach Anspruch 3, weiter dadurch ge- 25 
kennzeichnet, daB 

- von der Auswerteeinrichtung (2) Vigilanzzwi- 
schenstufen angegeben werden, von denen eine 
hohere Zwischenstufe angegeben wird, wenn der 
Grad an nicht von der Umgebungshelligkeit ver- 30 
ursachten Pupillendurchmesserschwingungen un- 
terhalb des vorgebbaren Pupillendurchmesser- 
schwingungs-Schwellwertes liegt und entweder 
die LidschluBdauer zwischen dem ersten Lid- 
schluBdauer-Schwellwerl und dem demgegenuber 35 
grofieren, zweiten LidschluBdauer-Schwellwert 
hegt oder die LidschluBfrequenz unterhalb des 
LidschluBfrequenz-Schwellwertes liegt, wahrend 
die andere Zwischenstufe niedrigerer Vigilanz an- 
gegeben wird, wenn der Grad an nicht von der 40 
Umgebungshelligkeit verursachten Pupillen- 
durchmesserschwingungen oberhalb des Pupil- 
lendurchmesserschwingungs-Schwellwertes liegt 
und entweder die LidschluBdauer zwischen dem 
ersten und dem zweiten LidschluBdauer-Schwell- 45 
wert liegt oder die LidschluBfrequenz unterhalb 
des LidschluBfrequenz-Schwellwertes liegt. 

5. Vorrichtung nach einem der Anspruche 1 bis 4, wei- 
ter gekennzeichnet durch eine vom Bildauswertesy- 
stem angesteuerte Warneinheit (14), die in Abhangig- 50 
keit vom festgestellten Vigilanzzustand Warnmeldun- 
gen lokal und/oder fernreichweitig abgibt. 

6. Vorrichtung nach einem der Anspruche 1 bis 5, wei- 
ter gekennzeichnet durch eine vom Bildauswertesy- 
stem angesteuerte Warneinheit (14), die in Abhangig- 55 
keit vom festgestellten Vigilanzzustand eine Fahrzeug- 
oder Maschinensteuerung (23) austeuert, mit der bei 
entsprechend niedriger festgestellter Vigilanz das Fahr- 
zeug bzw. die Maschine in einen sicheren Betriebszu- 
stand gebracht wird. 60 

7. Vorrichtung nach einem der Anspruche 1 bis 6, wei- 
ter gekennzeichnet durch eine vom Bildauswertesy- 
stem angesteuerte Warneinheit (14) und eine Bedien- 
einheit (21), an der die Warneinheit (14) bei entspre- 
chend niedriger festgestellter Vigilanz die Durchfuh- 65 
rung einer Vigilanztestaufgabe durch die uberwachte 



Person (3) anfordert. 
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